Compress What You See, Not What You Say: Anchored Context Distillation for Latent-Observation Software Engineering Agents
压缩所见而非所说：面向隐式观测软件工程 Agent 的锚定上下文蒸馏
🧭 Agent 上下文压缩 · 软 token 蒸馏
Peking University
LOHA 布局与 ACD 训练法将长工具观测压缩为软 token，在 SWE-bench 上降低 43-57% 上下文且性能损失较小
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 中，工具返回的商品列表、搜索结果、用户行为日志等长文本可压缩为软 token，保留最近 K 条原文供模型精确引用（如商品 ID、价格），可显著降低上下文长度，提升并发吞吐。
- 采用“锚定蒸馏”思路：在压缩上下文训练时，加入普通文本输入的对齐损失，避免模型在压缩后行为漂移，保持排序/推荐效果稳定。
- 上下文窗口有限（如 32K）时，压缩历史比截断更好：论文中同一模型在受限窗口下，压缩版解决率 21.1% vs 全文本 11.1%，说明历史信息压缩比简单丢弃更有效。
- 权衡压缩比与任务性能：K 越大性能越好但压缩率低，需根据业务对延迟和精度要求调节 K；对于需要精确匹配的场景（如商品 ID、用户 ID）保留最近观测很有必要。